FedMultimodal: A Benchmark For Multimodal Federated Learning

❏ 書誌情報／著者

FedMultimodal: A Benchmark For Multimodal Federated Learning というタイトルの論文

University of Southern California、Amazon Alexa AI、The Ohio State Universityなどに所属するTiantian Feng氏ら多数の著者によるもの

2023年8月開催のKDD '23会議で発表

❏ 論文の核心（1文で要約）

マルチモーダルフェデレーテッドラーニング（FL）研究を促進するための初の包括的なベンチマーク「FedMultimodal」を提案

❏ 主張と革新性（何が新しく、何を解決するのか）

既存のFLベンチマークがユニモーダルに偏る中、マルチモーダルFL研究の公平な比較と再現性向上を目指す

代表的な5つの応用シナリオ、10のデータセット、8つのモダリティを網羅

特に、実世界のデータ破損（欠損モダリティ、欠損ラベル、ノイズ付きラベル）に対する堅牢性評価機能はFedMultimodal独自の重要な貢献

❏ 既存研究との違い

既存のFLベンチマークはコンピュータビジョンやNLPなどユニモーダルアプリケーションが中心

先行するマルチモーダルFL研究は独自の実験設定で行われ、手法の比較が困難であった

FedMultimodalは、実世界のデータ不完全性をエミュレーションする機能において既存研究との差別化を図る

❏ 技術・手法のポイント

データ分割、特徴抽出、マルチモーダルモデル、融合手法、FLオプティマイザ、ノイズエミュレーターを含むエンドツーエンドのFLシミュレーションフレームワーク

特徴抽出にはモバイルフレンドリーな事前学習モデルを使用

モデル設計では計算資源に制約のあるエッジデバイス向けに軽量なモデルアーキテクチャを採用

融合手法として連結ベースと注意機構ベースを提供し、注意機構は欠損モダリティの扱いも可能

❏ どう検証しているか（データ・実験・評価方法）

感情認識、マルチメディア行動認識、人間活動認識、ヘルスケア、ソーシャルメディアの5つのタスクで評価

MELD、CREMA-D、UCF101など10種類の公開マルチモーダルデータセットを使用

自然分割やDirichlet分布を用いた合成的な非IIDデータ分割でクライアントデータを準備

FedAvg、FedProx、FedOptなどの様々なFLオプティマイザの性能を比較

欠損モダリティ、欠損ラベル、ノイズ付きラベルの割合を変化させてモデルの堅牢性を評価

❏ 議論・今後の課題・著者自身の限界認識

注意機構ベースの融合は多くのケースで優れるが、データ特性により連結ベースも有効

ノイズ付きラベルは欠損モダリティや欠損ラベルに比べ性能低下が大きい

人間活動認識やCrisisMMDデータセットは特に特定のデータ破損に敏感な可能性

今後の課題として、より多様なデータセットとモデルの追加、高度な融合手法の開発、データ異種性克服（知識転送など）、ラベル不足手法の研究促進が挙げられる

**プライバシー漏洩リスクの探索と対策（差分プライバシー、セキュアアグリゲーションなど）**も重要な研究方向

❏ 応用例／示唆

マルチモーダル学習は感情認識、ヘルスケア、マルチメディア、ソーシャルメディアなど幅広い実世界応用を持つ

フェデレーテッドラーニングは、これらの応用におけるユーザーデータのプライバシー保護に貢献

特にFedMultimodalが対象とするタスク例は以下の通り:

仮想アシスタントやAI支援教育に関わる感情認識

ビデオコンテンツ分析としてのマルチメディア行動認識

ウェアラブルデバイスからのデータを利用した人間活動認識

診断支援など医療分野におけるヘルスケア応用（ECG分析など）

災害時の状況把握やデマ検出といったソーシャルメディア分析

これらの応用においては、センサー故障やアノテーションエラーによるデータ不完全性への対処が不可欠

ベンチマーク結果は、特定の応用（例：人間活動認識、ソーシャルメディア）が特定の種類のデータ破損に弱い可能性を示唆

将来的には、これらの応用におけるプライバシー攻撃（推論攻撃、再構築攻撃など）からの防御も研究課題となる